a.

\(y'=x^2+2\left(m^2-1\right)x+2m-3\)

\(y''=2x+2\left(m^2-1\right)\)

Hàm đạt cực đại tại \(x=2\) khi: \(\left\{{}\begin{matrix}y'\left(2\right)=0\\y''\left(2\right)< 0\end{matrix}\right.\)

\(\Rightarrow\left\{{}\begin{matrix}4+4\left(m^2-1\right)+2m-3=0\\4+2\left(m^2-1\right)< 0\end{matrix}\right.\)

Do \(2m^2+2>0\) ;\(\forall m\) nên ko tồn tại m thỏa mãn yêu cầu đề bài

b.

\(y'=x^2+2mx+3\)

\(y''=2x+2m\)

Hàm đạt cực đại tại \(x=-3\) khi: \(\left\{{}\begin{matrix}9-6m+3=0\\-6+2m< 0\end{matrix}\right.\) \(\Rightarrow\left\{{}\begin{matrix}m=2\\m< 3\end{matrix}\right.\)

\(\Rightarrow m=2\)

- Với \(x< 3\Rightarrow f'\left(x\right)=6x^2-6\left(m+1\right)x+6m=6\left(x-1\right)\left(x-m\right)\)

\(f'\left(x\right)=0\Rightarrow6\left(x-1\right)\left(x-m\right)=0\left(1\right)\Rightarrow\left[{}\begin{matrix}x=1\\x=m\end{matrix}\right.\) có tối đa 2 cực trị khi \(x< 3\)

- Với \(x>3\Rightarrow f'\left(x\right)=n\) là hằng số \(\Rightarrow f\left(x\right)\) ko có cực trị khi \(x>3\)

\(\Rightarrow\) Hàm có đúng 3 điểm cực trị khi và chỉ khi nó đồng thời thỏa mãn:

ĐK1: \(f'\left(x\right)=0\) có 2 nghiệm pb khi \(x< 3\Rightarrow\left\{{}\begin{matrix}m< 3\\m\ne1\end{matrix}\right.\)

ĐK2: \(x=3\) là 1 cực trị của hàm số

\(\Rightarrow f\left(x\right)\) liên tục tại \(x=3\) đồng thời đạo hàm đổi dấu khi đi qua \(x=3\)

\(\lim\limits_{x\rightarrow3^+}f\left(x\right)=\lim\limits_{x\rightarrow3^-}f\left(x\right)\Leftrightarrow3n+46=25-9m\Rightarrow n=-3m-7\) (2)

Mặt khác do 2 nghiệm của (1) đều nhỏ hơn 3 \(\Rightarrow\) tại lân cận trái của \(x=3\) đạo hàm luôn có dấu dương

\(\Rightarrow\) Để đạo hàm đổi dấu khi đi qua \(x=3\) thì \(f'\left(3^+\right)=n< 0\)

Thế vào (2) \(\Rightarrow-3m-7< 0\Rightarrow m>-\dfrac{7}{3}\)

\(\Rightarrow-\dfrac{7}{3}< m< 3\Rightarrow\sum m=0\)

Lời giải:
$y'=3x^2-6mx+3(m^2-1)=0$

$\Leftrightarrow x^2-2mx+m^2-1=0$

$\Leftrightarrow x=m+1$ hoặc $x=m-1$

Với $x=m+1$ thì $y=-2m-2$. Ta có điểm cực trị $(m+1, -2m-2)$

Với $x=m-1$ thì $y=2-2m$. Ta có điểm cực trị $m-1, 2-2m$

$f''(m+1)=6>0$ nên $A(m+1, -2m-2)$ là điểm cực tiểu

$f''(m-1)=-6< 0$ nên $B(m-1,2-2m)$ là điểm cực đại 

$BO=\sqrt{2}AO$

$\Leftrightarrow BO^2=2AO^2$

$\Leftrightarrow (m-1)^2+(2-2m)^2=2(m+1)^2+2(-2m-2)^2$

$\Leftrightarrow m=-3\pm 2\sqrt{2}$

Ta có:

\(y'=x^2-2mx+m^2-4\)

\(y''=2x-2m,\forall x\in R\)

Để hàm số \(y=\dfrac{1}{3}x^3-mx^2+\left(m^2-4\right)x+3\) đạt cực đại tại x = 3 thì:

\(\left\{{}\begin{matrix}y'\left(3\right)=0\\y''\left(3\right)< 0\end{matrix}\right.\Leftrightarrow\left\{{}\begin{matrix}m^2-6m+5=0\\6-2m< 0\end{matrix}\right.\)

\(\Rightarrow\left\{{}\begin{matrix}m=1,m=5\\m>3\end{matrix}\right.\Leftrightarrow m=5\)

=> B.